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요 약 


영 상 과 같은 다 양 하고 복잡한 데이터 검 색 은 기 존 의 키 워 드 를 이용한 검 색 이 아닌 내용 기반 검색 방 법 이 
요 구 된다. 본 논 문 에서는 물 체 의 위 치 이 동 이나 화전, 크 기 변화 등과 같은 각종 변 환 에 민 감 하지 않은 불 변 모 멘 
트 (108081【 ㅁ 00061015) 값 의 특 성 을 이 용 하 여 사용자 질 의 로서 입 력 된 객 체 를 효 율 적 으로 검 색 할 수 있는 
시 스 템 울 구 현 하였다. 영 상 내의 단일 객 체 뿐만 아니라 다중 객 체 들 도 효과적으로 검 출 하기 위해 레 이 블 링 
08606008) 알 고 리 즘 을 적 용 해 각 각 의 객 체 를 따로 분 리 하여 불 변 모 멘 트 를 적 용 하는 방 법 을 이 용 했다. 또한, 
검색 시간 단축 및 영 상 의 효율적인 인 덱 싱 (1006%108) 을 위해 해 싱 을 응 용 한 기 법 올 적 용 하였다. 실 험 결 과, 
006018100 ㅁ 8596, 76081] 23% 의 높은 검 색 효 율 을 보였고 기 존 의 전체 영 상 의 특 징 올 가 지 고 는 정확히 표현할 
수 없는 객 체 들 의 모 양 을 정확히 표 현 해 줌으로써 보다 정확한 검색 결 과 를 얻을 수 있었다. 
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1. 서 론 


현재 우 리 가 접하는 멀 티 미 디 어 정 보 중 영 상 과 같 
이 다양한 형 태 의 데 이 터 들은 그 것 과 연관된 텍스트 
나 키 워 드 를 사 용 하는 기 존 의 검 색 방 법 으 로 는 그 영 
상 을 제대로 묘 사 해 주지 못한다. 이들 검색 방 법 은 
각 영 상 에 입 력 된 초기 텍스트 정 보 에 전적으로 의존 


` 준회원, 충 북 대 학교 정 보 통 신 공 학과 석 사 과정 
정회원, 충 북 대 학교 정 보 통 신 공 학과 교수 


하기 때문에 만약 질 의 어 가 초 기 에 묘 사 되지 않은 
영 상 속 성 을 참 조 하 게 되면 검 색 은 대부분 실 패 하 게 
된다. 따라서 칼 라 (60107) 나 모 양 (94806), 질 감 ((6×016) 
등 의 성 분 을 이용한 내 용 기반 검 색 방 법 이 필 요 하게 
되었다. 그 동안 이러한 성 분 들을 이용한 내 용 기반 
검 색 방 법 에 대해 다양한 연 구 가 있어 왔다. 147312 는 
사 용 자 에 의한 스케치 입 력 이나 갈 라 나 복사본 영상 
으로 데 이 터 를 검 색 할 수 있는 방 법 을 제 시 하 였 다 [1]. 
1884 사 의 0810 시 스 템 에 서는 입 력 으로 텍스트, 스 


케 치 , 갈 라 정보, 레 이 아 웃 (147040 이 나 구조적 묘사 
등 의 정 보 를 기 반 으로 한 대규모 데이터베이스 질의 
가 가능한 검 색 방 법 을 개 발 하 였 다 [2]. 버클리 소재 
캘리포니아 대 학 에 서 수 행 한 08001 프 로 젝 트 에서 
는 애 트 리 뷰 트 와 특 징 을 복 합 적 으로 사용한 검색기 
법 을 제 안 하였고, 1386 시 스 템 에서는 검 색 에 사용 
되는 특 징 들을 개 발 자 가 응 용 에 맞게 추 가 하 거나 삭 
제 할 수 있는 기 능 을 제 공 하 였 다 [3]. 이러한 기 존 의 
내 용 기반 검 색 시 스 템 에 대한 연 구 들은 영 상 내의 칼 
라 히 스 토 그램 등 을 이용한 칼 라 정 보 와 곡률, 모멘트 
등 의 모 양 특징 정보, 그리고 질감 등 을 이용한 검색 
방 법 이 대 부 분 을 차지하고 있으나, 이들 정 보 들 만을 
가지고 광범위한 영 상 들 을 정확하게 표 현 해 줄 수 없 
다. 특히 모 양 특징 검 색 에서는 사 용 자 가 검 색 하고자 
하는 객 체 의 모 양 을 정확히 표 현 해 준 다는 것은 어려 
운 일 이다. 이에 본 논 문 에서는 기 존 에 주로 다루어 
진 단 일 객체 검 색 시 스 템 에 서 확 장 하 여 한 영 상 내에 
서 여러 개의 객 체 들 도 독 립 적 으로 표현해 줄 수 있 
는 레 이 블 링 기 법 을 제 안 하 였고, 각 각 의 객 체 들 을 위 
치나 크 기 변화 등 각종 변 환 에 불 변 적인 특 징 을 갖는 
불 변 모 멘 트 를 이 용 하 여 표 현 하 였다. 이로써 사용자 
는 선 택 적 으로 원하는 객 체 만을 검 색 할 수도 있고, 
그 객 체 를 포 함 하 는 모든 영 상 들을 검 색 할 수도 있는 
기 능 을 갖게 되었다. 또한 28 저장 및 검 색 방 법 에서 
해 싱 기 법 을 기 반 으 로 한 개 선 된 모델 재구성 방 법 올 
제 안 하여 효율적인 검 색 시 스 템 을 구 현 하였다. 


2. 객 체 의 특징 추출 


영 상 내 객 체 의 특 징 추출 절 차 는 그림 1 과 같다. 
전 처 리 단 계 로서의 잡 음 제거 및 영상 이 치 화 , 그리고 
객체 레 이 블 링 작 업 이 있고, 다 음 으로 불 변 모 멘 트 를 
이용한 특 징 값 추 출 이 있다. 전처리 단 계 에 서 의 이 
치 화 작 업 은 객 체 들 과 배 경 을 분 리 해주기 위 함 이다. 
또한 초기 입력 영 상 은 조 명 등 에 민 감 하기 때문에 
객 체 를 정확히 분 리 하기 위해 히 스 토 그램 균 일 화나 
메 디 안 필터링 등과 같은 잡음 제 거 작 업 이 선 행 되 어 
야 한다. 이 치 화 단 계 는 전 체 영 상 을 크게 두 그 룹 으 
로 나누고 그레이 레 벨 값 에 따른 그 룹 간 의 평 균 과 
분 산 값 을 이 용 하 여 최 적 의 임 계 값 을 얻는 ([94 의 방 
법 을 이 용 하 였 다 [41. 
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객체 레 이 블 링 단 계 는 단일 객 체 가 아닌 여러 개 
의 객 체 가 하 나 의 영 상 에 존재할 경우 각 각 의 객 체 를 
레 이 블 화 하게 된다. 즉 세부 단 계 로 서 이 치 화 된 영 
상 을 2 차 미 분 연 산 자 인 라 플 라 시안 연 산 자 를 이용하 
여 윤 곽 선 을 검 출 하게 되고, 그림 2 와 같은 8 방 향 체 
인 코 드 ( 아 810 0006) 를 기 반 으 로 한 3×3 ㅁ ㅁ 85Ｌ 법 을 
이 용 하 여 윤 곽 선 을 추 적 하 게 된 다 [5]. 그 다음 검출 
된 각 각 의 객 체 들의 윤 곽 선 에 대해 고 유 한 레 이 블 값 
을 삽 입 하게 되며 레 이 블 값 에 따른 객 체 들의 전 체 분 
포 값 을 복 원 하게 된다. 이렇게 구 분 된 각 각 의 객 체 들 
은 불 변 모 멘 트 를 적 용 하여 그 객 체 들 의 특 징 값 들 을 
추 출 하 게 된다. 불 변 모 멘 트 의 특 징 은 물 체 의 위 치 이 
동 이 나 회전, 크기 변화 등과 같은 각종 변 환 에 불변 
적인 성 질 이 있다는 것이다. 


영상 입력 


영상 이 치 화 
객체 윤 곽 선 추출 


_ 
지 


(8 06) 


그림 2. 윤 곽 선 추 적 을 위한 8 방 향 마스크 
(3) 3>×3 마 스크 (6) 8 방 향 벡 터 코드 
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이 논 문 에서는 이와 같은 객 체 의 특 징 값 을 추 출 하 
기 위하여 객 체 에 대한 불 변 모 멘 트 를 적 용 하였다 
[4.6.7]. 모 멘 트 는 이미지 분 석 측 면 에 서 보면 이미지 
세 그 먼 트 (66801600) 의 특 성 올 나 타 내 거나 분 석 적 인 
특 징 들을 추 출 하 는데 사 용 된다. 이 산 값 (01607666 8106) 
을 갖는 2 차 원 이미지 공 간 (1, ]) 에 서 41× 씨 크 기 를 
가진 영 상 에 서 의 각 픽셀 값 을 1, ]) 라 하면, (6 + 
0) 차 모 멘 트 는 아래 식 (1) 과 같다. 


= 기 겨 2” 71022) (01) 


만일 오직 한 객 체 만 존 재 하고, 배 경 값 이 모두 '0)' 이 
라면, 그 객 체 의 중 심 은 


~ 2210/ 20 , 320= 07 20 (2) 


이 되는데, 여기서 0 차 모 멘 트 (000) 는 객 체 의 면 적 올 
나타내고 1 차 모 멘 트 (20210, 1001) 는 1, ) 죽 의 분 포 값 이 
된다. 객 체 의 중 심 이 구 해 졌 으면 객 체 의 좌 표 값 에서 
중 심 을 뻔 값 을 모두 0 0 차 수 의 가 중 치 에 따라 합산 
하여 중 심 모멘트 및 정 규 화 된 중 심 모 멘 트 를 다 음 과 
같이 구할 수 있다. 


- 귀 26 ~0900- 570095 기 (3) 


200= 47412 (4) 


이 정 규 화 된 중 심 모 멘 트 를 이용해 각 객 체 에 대한 
불변 모 멘 트 는 다 음 과 같이 정 의 된 다 [7,891. 


4241= 2207 90 

406=( 220- 90622 +4(711)^ 
46=(29-3212?+( 2063 02)" 

24=( 20+ 7120 7+( 006+ 92)" (65) 


그림 3 은 불 변 모 멘 트 값 의 특 징 을 설 명 하기 위한 
예 제 이다. 영 상 내 에 서 하 나 의 같은 개 체 가 이동, 축 
소 , 반사 등과 같은 각종 변 환 이 되었을 때, 이 객 체 에 
대한 4 개 의 불 변 모 멘 트 값 을 보 여 주 고 있는데 값 들 의 
변 화 가 없이 거의 일정한 값 을 가 짐 을 알 수 있다. 

불변 모 멘 트 값 은 원래 7 개 의 값 을 갖게 되는데 그 

들 중 \46~0 값 은 높은 차 수 들의 모멘트 합 으로 
나 타 내 어 지므로 객 체 를 더 정 밀 하게 표현해 줄 수 는 
있지만 잡 음 에 너무 민감한 성 질 을 나타내게 된다 
[10]. 그래서 본 논 문 에서는 441 ~44 의 4 개 값 을 선택 


적 으 로 검 색 에 이 용 하 여 입력 영상 객 체 의 잡 음 에 
의한 오류 검 색 을 감 소 시키게 되고, 계 산 량 감 소 에 
의한 데이터베이스 인덱싱 시 간 을 줄일 수 있는 효과 
를 얻을 수 있었다. 


비 2 0 03 0 04 
모 멘 트 값 


그림 3. 불 변 모 멘트 값 들 의 톡 성 


3. 해 싱 기 법 을 이용한 개 선 된 모델 재구성 


해 싱 이란 찾고자 하는 데 이 터 의 키 ((6)) 를 이용하 
여 데 이 터 베 이 스 에서 데 이 터 가 저 장 되어 있는 위치 
를 직접 산 술 적 으로 계 산 하 여 원하는 데 이 터 를 취하 
는 방 식 의 검색 방 법 이다. 본 논 문 에서는 모든 객체 
에서 얻어진 모멘트 값 들 의 거 리 를 계 산 하여 이들 
중 유 사 성 이 가장 높은 객 체 의 모멘트 값 을 참조 객 
체 값 으로 선 정 하고 각각 객 체 의 모멘트 값 으로부터 
참조 객 체 값 까 지 의 거 리 를 키 값 으로 하여 해 시 테이 
블 을 구 성 하였다. 이때 키 값 의 범 위 는 참조 객 체 와의 
거 리 에 서 산 출 된 평 균 과 분 산 값 을 기 준 으로 구성된 
다. 이 키 값 의 범 위 는 18 영 상 을 각 각 의 클 래 스 로 
분 류 하 는 기 준 이 된다. 참조 객 체 의 선 정 기 준 은 두 
개의 객체 5, 의 모든 쌍 (5) 에 대한 거 리 를 유 클 
디 언 거리 측 정 법 을 이 용 하 여 구한다. 이때 객 체 들의 
총 수가 ㅁ 이면 상 호 대 칭 의 관 계 를 가 지 므로 
ㅁ (20-1)/2 의 계 산 량 을 필 요 로 한다. 그 다 음 으로 전 
단 계 에서 구한 거 리 를 이용해 아래 식 (6) 의 조 건 을 
만 족 하 는 객 체 를 참조 객 체 (520 로 선 정 하게 된다. 

55, 108 229(85, 5 ,)) 5 , 트 5} 15 10101704010 (6) 
질의 영 상 이 입 력 되 었을 때 검색 방 법 으 로 는 질의 
영상 객 체 와 참조 객 체 와의 거리 측 정 에 의해 구 해 진 
거 리 값 이 100 내 의 어느 영상 클 래 스 에 해 당 되는지 
를 판 별 하 여 그 클래스 내 에 서 유사도 검 색 을 실 시 하 


게 된다. 

그럼 4 는 위에서 설명한 전체적인 해 시 테 이블 작 
성 과 정 을 보 여 주 고 있는데, 이러한 방 법 으로 본 논문 
에서는 영상 데 이 터 들이 참 조 객 체 와 의 거리 계 산 에 
의해서 구한 평 균 과 분 산 값 에 의해 5 개 의 클 래 스 로 
나뉘어져 검 색 공 간 이 전 체 공 간 의 20% 로 줄어드는 
효 과 를 얻을 수 있었다. 
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그림 4. 해시 테 이 불 작성 과정 


4. 시 스 템 의 구성 


전체적인 서 스 템 구 성 은 그림 5 와 같다. 원 영 상 들 
은 히 스 토 그램 균 일 화 및 이 치 화 과 정 을 행한다. 여 
기 에 서 처 리 된 영 상 은 단일 객 체 인지 다중 객 체 인지 
를 판 별 하기 위한 단 계 로 서 객 체 의 윤 곽 선 을 검 출 하 
게 되고, 이것을 레 이 블 링 알 고 리 즘 을 적 용 해 각 객 


그림 5. 시스템 구 성 도 
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체 를 구 별 해 준다. 이렇게 구 해 진 객 체 들은 특 징 값 을 
추 출 하 게 되는데, 이 값 들 은 제 안 된 해시 테이블 형 
태 로 저 장 된 다. 사용자 질의 영상 검 색 도 같은 과정 
으로 객 체 를 추 출 하게 되고 불변 모 멘 트 를 적 용 하여 
특 징 값 들을 얻게 된다. 이 값 들 은 이미 28 에 해 시 테 
이블 형 태 로 저 장 되어 있는 객체 특 징 값 들 과 비 교 를 
하게 되고 가장 유 사 성 이 큰 이미지 순 서 로 화 면 에 
보 여 주 게 된다. 


5. 실험 및 결과 


본 실 험 은 16481 (++ 를 사 용 하여 프로그래밍 하 
였으며, 실 험 에는 001 카 메 라 를 이 용 하 여 얻은 
] ㅁ 286 칼 라 영 상 을 340*240 해 상 도 의 256 그 레 이 레벨 
비 트 맵 (610080) 영 상 으 로 변 환 하 여 사 용 하였다. 실험 
에서 모 델 로 사 용 되 어 진 물 체 는 드라이버, 망치, 니 
퍼 , 롱 로즈 등과 같은 공구 및 부 품 에 관련된 영 상 들 
이며, 이들을 각각 전처리 한 다음 모 델 링 하 고, 사용 
자 입 력 영 상 과 의 유사도 측 정 에 의해 모 델 과 가장 
유사한 영 상 을 찾 아 준다. 

실 험 조 건 은 단 일 객체 영상 200 개 와 다 중 객 체 를 
포함한 영상 300 개 를 대 상 으로 하였다. 질의 입력 방 
법 은 103 내 영상 중에서 임 의 의 질의 영상 10 개 를 
무 작 위 로 선 택 하 여 각 각 의 질 의 영상 객 체 들 의 모 멘 
트 값 을 구하고, 이를 28 내 의 영 상 들 과 유사도 검색 
을 실 시 하 여 유 사 도 가 높은 순 으로 최대 6 개 까지 화 
면 에 출 력 하 게 된다. 내 용 기반 검 색 시 스 템 은 정확한 
매 칭 이 아닌 유 사 매 칭 을 수 행 하므로 시스템 평가 방 
법 . 으 로 40111011200 0 ㅠ 6015100 과 160311 9$[8050468 를 근 
거로 하였다. 주어진 질 의 와 관련된 항목 수 를 7' 라 
하고, 로부터 검색된 항 목 의 총 수 를 1 ㅠ , 검색된 
항목 중 질 의 와 유사한 항 목 의 수 를 ㅠㅜ 이라고 할 
때 0 ㅁ 60191070 은  / 17 이고 16041 91305068 는 
/ 이 된다. 

표 1 은 하 나 의 객 체 만 존 재 하 는 영 상 들 만 을 대상 
으로 했을 때 의 실 험 결 과 로 서 , 본 논 문 에서 구 현 된 
시 스 템 과 의 성능 비 교 를 위해 134 의 0810 시스템 
에 제 안 된 시 스 템 과 같은 수 의 질의 젯 수 및 28 크 기 
를 주고 검 색 을 실 시 했 을 때 제 안 된 시 스 템 의 검색 
결 과 와 비 교 한 것이다. 0810 시 스 템 에 서 의 질 의 를 
위해 사용한 특 징 으 로 는 칼라 히 스 토 그 램 과 질감 특 
징 , 그리고 레이아웃 등 이 있다. 이들 각 각 의 특 징 으 
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로 검 색 한 결 과 를 살펴보면 제 안 된 시 스 템 은 ㅁ 601910 ㅁ 
856 96, 70031 42 % 가 나온 반면, 081( 시 스 템 에서는 
평균 40 % 정 도의 ㅠ 6015107 과 평균 20 % 의 7603911 을 
나 타 내 었 다. 

표 2 는 단일 객 체 를 갖는 영 상 들 뿐만 아니라 다중 
객 체 를 갖는 영 상 들 도 포 함 하여 실 험 한 결 과 를 나타 
내고 있다. 여기서도 표 1 에 서 와 같은 조 건 을 주고 
0810 시 스 템 과 제 안 된 시 스 템 간의 검색 결 과 를 보 
여 주 고 있다. 결 과 값 을 비교해 보면 0810 시 스 템 에 
서 의 ㅠ 6019100 과 76001 은 평균 50 % 와 15 % 로 나온 
반면, 제 안 된 시 스 템 의 ㅁ 6019107 ㅁ 과 16091 은 85 % 와 
23 % 로 높은 검 색 효 율 을 나타내고 있다. 이러한 결 
과 는 본 논 문 에 서 제 안 하고 적용한 레 이 블 링 알 고 리 
즘 을 통해 각 객 체 들이 정확하게 표 현 되었기 때문에 


표 1. 단 일 객 체 영 상 들의 질 의 에 따른 실 험 결과 
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가 능 했 다. 또한 불 변 모 멘 트 의 특 성 을 이 용 하 여 다양 
한 형 태 의 객 체 를 효과적으로 표 현 하였기 때문에 
00810 시 스 템 보다 높은 정 확 도 를 얻을 수 있었다. 

그림 6 에 서는 사용자 입력 영 상 으로 검 색 을 하기 
위한 어 플 리 케 이 션 을 나타내고 있다. 여기서 사용자 
는 모드 선 택 에 의해 찾 고 자 하 는 객 체 만 를 가지고 
있는 단 일 객체 영 상 들을 검 색 할 수도 있고, 그 객체 
를 포 함 하는 다 중 객 체 영 상 들을 선 택 적 으로 검 색 할 
수도 있다. 이렇듯 사 용 자 에 의한 선 택 적 인 검 색 방법 
을 통해 검 색 의 시간 단축 및 효 율 성 을 중 대 시키는 
효 과 를 가 져 왔다. 


그림 6. 검 색 을 위한 사용자 인터페이스 


그럼 7 은 질의 영 상 ( 망 치 ) 을 가지고 검 색 한 결과 
를 보 여 주 고 있다. 질의 영 상 을 먼저 이 치 화 하고 불 
변 모 멘 트 에 의한 특 징 값 들을 구한 후, 08 에 인덱싱 
되 어 있 는 영 상 들의 특 징 값 들 과 비 교 하여 검 색 결과 
를 보 여 주 게 된다. 검 색 결 과 는 좌 측 상 단 부 터 가 로 로 
유 사 도 가 큰 순 서 대로 6 개 의 영 상 을 보 여 주 고 있는 
데 , 질의 영 상 의 객 체 를 포 함 하는 단 일 객체 영상 및 
다 중 객체 영 상 들이 정확하게 검 색 되 었 음 을 알 수 
있다. 


그림 7. 질 의 영 상 (망치) 검 색 결과 


표 3 은 그림 7 의 검 색 결과 영 상 들의 모 멘 트 값 을 
보 여 주 고 있다. 결과 영 상 들 모두 약 간 의 오 차 를 제 
외 하 고 는 거의 일정한 값 의 분 포 를 가 짐 을 알 수 있 
다. 그림 8 은 표 3 의 결과 영 상 의 객체 모멘트 값 들 간 
의 오 차 값 을 비 교 한 그 래 프 이 다. 


표 3. 결과 영 상 의 불 변 모 멘 트 값 


1 2 3 4 5 6 
검 색 결과 영 상 순위 번호 


그림 8. 결과 영 상 의 성능 비교 


6. 결 론 


본 논 문 에서는 불 변 모 멘 트 를 적 용 하여 각 영 상 의 
객 체 들의 특 징 값 을 구 했 고, 이 값 들 을 가지고 사용 
자가 원하는 객 체 를 효과적으로 검 색 하기 위한 시스 
템 을 구 현 하였다. 물 체 의 희 전, 이동, 크기 변 화 나 각 
종 변 환 에도 값 의 변 화 가 거의 없는 특 징 을 갖고 있 
는 불 변 모 덴 트 를 이 용 했으며, 기 존 의 검색 시 스 템 을 
보 완 하여 한 영 상 내에 여러 개의 객 체 가 존 재 하더라 
도 각 각 의 객 체 들을 정확하게 표현할 수 있는 레이블 
링 알 고 리 즘 을 적 용 하였다. 또한 검 색 의 시간 단축 
및 효 율 을 개 선 하기 위해 해 싱 기 법 을 웅 용 한 영 상 모 
델 재 구 성 기 법 을 적 용 하여 보다 효율적인 시 스 템 을 
구 현 하였다. 

이번 실 험 에서는 객 체 와 배 경 을 구 분 하는 영 상 의 
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이 치 화 과 정 에서 조 명 에 대한 처 리 가 미비한 관 계 로 
몇 개의 영 상 에서 약 간 의 오 차 가 발 생 했다. 그러나 
이 부 분 은 좀더 보 완 된 전처리 과 정 을 거 친 다 면 해결 
될 수 있을 것으로 판 단 된 다. 이번에 구 현 된 시스템 
은 공구 영 상 과 같이 배 경 과 객 체 가 뚜 렸 이 구 분 된 
영 상 을 이 용 하 였다. 앞으로 이 시 스 템 을 보 완 하여 칼 
라 정 보 를 추 가 한다거나, 좀더 복잡한 형 태 의 객 체 도 
분 류 할 수 있는 알 고 리 즘 을 적 용 한 다면 여러 분 야 의 
검색 시 스 템 에서 활 용 이 가 능 하 리라고 기 대 된다. 
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